使用自然语言处理方法自动汇总患者的主要进度注释中的主要问题,有助于与医院环境中的信息和认知超负荷作斗争,并可能为提供者提供计算机化的诊断决策支持。问题列表摘要需要一个模型来理解,抽象和生成临床文档。在这项工作中,我们提出了一项新的NLP任务,旨在在住院期间使用提供者进度注释的意见来在患者的日常护理计划中生成一系列问题。我们研究了两个最先进的SEQ2SEQ变压器体系结构T5和Bart的性能,以解决此问题。我们提供了一个基于公开可用的电子健康记录进度注释MART MART(MIMIC)-III中的公开电子健康记录进度注释的语料库。 T5和BART对通用域文本进行了培训,我们尝试了数据增强方法和域适应性预训练方法,以增加医学词汇和知识的接触。评估方法包括胭脂,Bertscore,嵌入句子上的余弦相似性以及对医学概念的F评分。结果表明,与基于规则的系统和通用域预训练的语言模型相比,具有领域自适应预训练的T5可实现显着的性能增长,这表明可以解决问题摘要任务的有希望的方向。
translated by 谷歌翻译
最近的作品表明了解释性和鲁棒性是值得信赖和可靠的文本分类的两个关键成分。然而,以前的作品通常是解决了两个方面的一个:i)如何提取准确的理由,以便在有利于预测的同时解释; ii)如何使预测模型对不同类型的对抗性攻击稳健。直观地,一种产生有用的解释的模型应该对对抗性攻击更加强大,因为我们无法信任输出解释的模型,而是在小扰动下改变其预测。为此,我们提出了一个名为-BMC的联合分类和理由提取模型。它包括两个关键机制:混合的对手训练(AT)旨在在离散和嵌入空间中使用各种扰动,以改善模型的鲁棒性,边界匹配约束(BMC)有助于利用边界信息的引导来定位理由。基准数据集的性能表明,所提出的AT-BMC优于分类和基本原子的基础,由大边距提取。鲁棒性分析表明,建议的AT-BMC将攻击成功率降低了高达69%。经验结果表明,强大的模型与更好的解释之间存在连接。
translated by 谷歌翻译
在本文中,我们展示了我们参与生物重建VII轨道3的工作 - 在推文中自动提取药物名称,在那里我们实施了一个多任务学习模型,这些模型是在文本分类和序列标记上进行的联合培训的多任务学习模型。我们最好的系统运行达到了80.4的严格F1,比所有参与者的平均分数排名第一,排名超过10点。我们的分析表明,集合技术,多任务学习和数据增强都是有益于推文中的药物检测。
translated by 谷歌翻译
Calibration strengthens the trustworthiness of black-box models by producing better accurate confidence estimates on given examples. However, little is known about if model explanations can help confidence calibration. Intuitively, humans look at important features attributions and decide whether the model is trustworthy. Similarly, the explanations can tell us when the model may or may not know. Inspired by this, we propose a method named CME that leverages model explanations to make the model less confident with non-inductive attributions. The idea is that when the model is not highly confident, it is difficult to identify strong indications of any class, and the tokens accordingly do not have high attribution scores for any class and vice versa. We conduct extensive experiments on six datasets with two popular pre-trained language models in the in-domain and out-of-domain settings. The results show that CME improves calibration performance in all settings. The expected calibration errors are further reduced when combined with temperature scaling. Our findings highlight that model explanations can help calibrate posterior estimates.
translated by 谷歌翻译
Pre-trained Language Models (PLMs) have been applied in NLP tasks and achieve promising results. Nevertheless, the fine-tuning procedure needs labeled data of the target domain, making it difficult to learn in low-resource and non-trivial labeled scenarios. To address these challenges, we propose Prompt-based Text Entailment (PTE) for low-resource named entity recognition, which better leverages knowledge in the PLMs. We first reformulate named entity recognition as the text entailment task. The original sentence with entity type-specific prompts is fed into PLMs to get entailment scores for each candidate. The entity type with the top score is then selected as final label. Then, we inject tagging labels into prompts and treat words as basic units instead of n-gram spans to reduce time complexity in generating candidates by n-grams enumeration. Experimental results demonstrate that the proposed method PTE achieves competitive performance on the CoNLL03 dataset, and better than fine-tuned counterparts on the MIT Movie and Few-NERD dataset in low-resource settings.
translated by 谷歌翻译
Prevalent state-of-the-art instance segmentation methods fall into a query-based scheme, in which instance masks are derived by querying the image feature using a set of instance-aware embeddings. In this work, we devise a new training framework that boosts query-based models through discriminative query embedding learning. It explores two essential properties, namely dataset-level uniqueness and transformation equivariance, of the relation between queries and instances. First, our algorithm uses the queries to retrieve the corresponding instances from the whole training dataset, instead of only searching within individual scenes. As querying instances across scenes is more challenging, the segmenters are forced to learn more discriminative queries for effective instance separation. Second, our algorithm encourages both image (instance) representations and queries to be equivariant against geometric transformations, leading to more robust, instance-query matching. On top of four famous, query-based models ($i.e.,$ CondInst, SOLOv2, SOTR, and Mask2Former), our training algorithm provides significant performance gains ($e.g.,$ +1.6 - 3.2 AP) on COCO dataset. In addition, our algorithm promotes the performance of SOLOv2 by 2.7 AP, on LVISv1 dataset.
translated by 谷歌翻译
我们通过重新访问最近的质心,这是最经典,最简单的分类器之一,这是一个概念上优雅而有效的网络,这是一个概念上优雅而有效的网络,这是一个概念上优雅而有效的网络,这是一个概念上优雅而有效的网络,这是一个概念上优雅而有效的网络,这是一个概念上优雅但令人惊讶的有效网络,这是一个概念上优雅而有效的网络,这是最经典,最简单的分类器之一。当前的深层模型以完全参数的方式学习分类器,忽略了潜在的数据结构,缺乏简单性和解释性。 DNC相反进行非参数,基于案例的推理;它利用训练样本的亚中心来描述类别分布,并清楚地将分类解释为特征空间中测试数据和类亚电视的近距离。由于基于距离的性质,网络输出维度是灵活的,所有可学习的参数仅用于数据嵌入。这意味着在“预训练和微调”范式下,可以将所有用于像素识别学习的知识完全转移到像素识别学习中。除了其嵌套的简单性和直观的决策机制外,DNC甚至可以选择次级抗毒剂作为人类可以查看和检查的实际训练图像时具有临时解释性。与参数对应物相比,DNC在图像分类(CIFAR-10,IMAGENET)和靴子像素识别(ADE20K,CityScapes)方面的性能更好,具有提高的透明度和更少的可学习参数,使用各种网络体系结构(Resnet,SWIN,SWIN)和分割模型(Resnet,Swin)和分裂模型( FCN,DeepLabv3,Swin)。我们认为这项工作带来了对相关领域的基本见解。
translated by 谷歌翻译
面姿势估计是指通过单个RGB图像预测面部取向的任务。这是一个重要的研究主题,在计算机视觉中具有广泛的应用。最近已经提出了基于标签的分布学习(LDL)方法进行面部姿势估计,从而实现了有希望的结果。但是,现有的LDL方法有两个主要问题。首先,标签分布的期望是偏见的,导致姿势估计。其次,将固定的分布参数用于所有学习样本,严重限制了模型能力。在本文中,我们提出了一种各向异性球形高斯(ASG)的LDL方法进行面部姿势估计。特别是,我们的方法在单位球体上采用了球形高斯分布,该分布不断产生公正的期望。同时,我们引入了一个新的损失功能,该功能使网络可以灵活地学习每个学习样本的分布参数。广泛的实验结果表明,我们的方法在AFLW2000和BIWI数据集上设置了新的最新记录。
translated by 谷歌翻译
表问题回答(表QA)是指从表中提供精确的答案来回答用户的问题。近年来,在表质量检查方面有很多作品,但是对该研究主题缺乏全面的调查。因此,我们旨在提供表QA中可用数据集和代表性方法的概述。我们根据其技术将现有的表质量质量质量检查分为五个类别,其中包括基于语义的,生成,提取,基于匹配的基于匹配的方法和基于检索的方法。此外,由于表质量质量质量检查仍然是现有方法的一项艰巨的任务,因此我们还识别和概述了一些关键挑战,并讨论了表质量质量检查的潜在未来方向。
translated by 谷歌翻译
深度学习大大提高了单眼深度估计(MDE)的性能,这是完全基于视觉的自主驾驶(AD)系统(例如特斯拉和丰田)的关键组成部分。在这项工作中,我们对基于学习的MDE产生了攻击。特别是,我们使用基于优化的方法系统地生成隐形的物理对象贴片来攻击深度估计。我们通过面向对象的对抗设计,敏感的区域定位和自然风格的伪装来平衡攻击的隐身和有效性。使用现实世界的驾驶场景,我们评估了对并发MDE模型的攻击和AD的代表下游任务(即3D对象检测)。实验结果表明,我们的方法可以为不同的目标对象和模型生成隐形,有效和健壮的对抗贴片,并在物体检测中以1/1/的斑点检测到超过6米的平均深度估计误差和93%的攻击成功率(ASR)车辆后部9个。具有实际车辆的三个不同驾驶路线上的现场测试表明,在连续视频帧中,我们导致超过6米的平均深度估计误差,并将对象检测率从90.70%降低到5.16%。
translated by 谷歌翻译